Why 5 Participants Are Okay in a Qualitative Study, but Not in a Quantitative One為什麼定性研究中5名參與者足夠,但定量研究中卻不夠?

定性可用性研究旨在發現介面中的問題,而定量可用性研究則需要收集能夠代表整體使用者行為的指標。5名參與者在定性研究中足夠,但在定量研究中無法提供可靠的資料。

定量可用性研究:為什麼需要超過5名參與者?

目標:定量可用性研究通常是總結性的,旨在評估系統的可用性並提供資料,如任務成功率、任務時間、錯誤率和使用者滿意度等。

關鍵特點:

  1. 統計支援: 透過彙總每位參與者的資料,計算均值、成功率等指標,並生成置信區間來預測總體使用者行為。
  1. 樣本量的重要性:
    • 小樣本可能導致觀測值無法準確反映總體的真值。
    • 為了得到有意義的置信區間(如75%–90%的成功率),通常需要至少40名參與者

示例:如果一項任務的成功率在研究中觀察到是70%,但由於樣本量過少,其置信區間可能為40%–90%,這使得資料過於寬泛而無法提供決策支援。

定性可用性研究:5人規則的假設

目標:定性研究以探索為主,旨在發現設計中的問題並推動迭代改進,而非透過統計方式描述使用者行為。

關鍵假設:

  1. 目標是發現問題: 定性研究關注的是使用者在介面中遇到的問題,而不是測量某個具體指標。
  1. 問題的普遍性假設: 假定每個使用者遇到的問題都是需要修復的。例如,若某使用者在測試中“掉入一個坑”,這意味著這個問題需要解決,而無需透過1000名使用者驗證。
  1. 問題出現的機率: 假設每個使用者遇到問題的機率為 31%。

數學模型:根據Nielsen和Landauer的研究,5名參與者可以發現介面中 85% 的可用性問題。

測試流程建議:使用5名參與者發現大部分問題,修復後重新測試下一輪,逐步改進。

質疑5人規則的假設

1. 是否每個使用者遇到的問題都需要修復?

2. 使用者遇到問題的機率是否為31%?

調整模型:如果問題機率降低(例如20%或10%),則需要更多參與者:

5人規則的實際應用

  1. 初步測試:
    • 當介面存在大量問題時,測試5名使用者通常足夠找到大部分問題。
  1. 多輪迭代:
    • 修復問題後,用新的5名使用者進行測試。
    • 若測試中發現的問題越來越少,可適當增加參與者人數。
  1. 靈活調整:
    • 若首次測試未能發現足夠多的見解,可增加參與者人數。
    • 若問題較少且迭代迅速,可減少參與者人數至3人。

定性與定量研究的差異

研究型別目標樣本量要求結果的可信度
定性研究發現介面中的問題,推動改進5人通常足夠,問題機率越低需更多參與者研究結果不用於推測總體行為,只提供問題列表
定量研究衡量指標並預測整體使用者行為通常需要30–40人,具體依賴研究目標資料需透過置信區間和統計顯著性驗證

結論

  1. 定性研究適合探索問題:
    • 透過5人測試發現大部分問題,逐步改進設計。
    • 不嘗試推測整體使用者行為,僅依賴研究人員的判斷來優先處理問題。
  1. 定量研究需要更大樣本:
    • 用於生成可推廣的指標,確保資料具有統計意義。
    • 5名參與者不足以提供準確、可靠的結論。

關鍵點:定性和定量研究目標不同,因此樣本量需求不同。5人規則適用於定性研究,但在定量研究中應遵循統計要求,招募更多參與者。